import re
import urllib.request
import urllib.error


def get_link(url):
    # 伪装成浏览器,在浏览器调试模式下可得到信息，例子为QQ浏览器
    headers = ("User-Agent",
               "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400")
    # 创建opener对象
    opener = urllib.request.build_opener()
    # 加入头部信息
    opener.addheaders = [headers]
    # 将opener安装为全局变量
    urllib.request.install_opener(opener)
    # 打开网页并读取信息
    html_info = urllib.request.urlopen(url).read()
    # 转换为字符串
    html_info = str(html_info)
    # 根据需求构建好链接表达式，过滤所需的网址信息
    pat = '(https?://[^\s)";]+\.(\w|/)*)'
    link = re.compile(pat).findall(html_info)
    # 去除重复元素
    link = list(set(link))
    return link


# 要爬取的网页链接
url = "https://www.jianshu.com/"
# 获取对应网页中包含的链接地址
link_list = get_link(url)
# 通过for循环分别遍历输出获取到的链接地址到屏幕上
for link in link_list:
    # link为一个元组
    print(link)
    # 提取link的第一个元素
    print(link[0])
